AI资讯新闻榜单内容搜索-Contextual

关键词: 模型训练,人工智能,CCD,Coherent Contextual Decoding

扩散语言模型（Diffusion Language Models）以其独特的 “全局规划” 与并行解码能力广为人知，成为 LLM 领域的全新范式之一。然而在 Any-order 解码模式下，其通常面临

关键词: AI新闻,Contextual AI,Contextual,RAG

RAG（检索增强生成）作为解决大模型"幻觉"和知识时效性问题的关键技术，已成为企业AI应用的主流架构。Contextual AI由RAG技术的创始研究者组建，致力于开发能应对复杂知识密集型任务的专业智能体。

关键词: AI,模型训练,Scaling Law,人工智能

本文是一篇发表在 NeurIPS 2024 上的论文，单位是香港大学、Sea AI Lab、Contextual AI 和俄亥俄州立大学。论文主要探讨了大型语言模型（LLMs）的词表大小对模型性能的影响。

关键词: MoE,大模型,Gemini-1.5,GPT-4,Contextual AI,OLMoE

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。